第3章 BERT
#BERTによる自然言語処理入門
3-3 学習
ファインチューニングと似た学習方法として、BERTのパラメータは事前学習で得られた値に固定しておいて、分類器のみ学習を行うという方法(p.41)
分類器のみ学習=BERTはfeatureを作るだけ という理解
BERTを用いた実験ではファインチューニングのほうがモデルの性能が良くなる傾向があることがわかっています。(p.41)
この記述は原論文の
5.3 Feature-based Approach with BERT
と合っている感じ
ただしBERTで作るfeatureが役に立たないわけではない(1つの有効なアプローチという理解)